成本敏感的分类对于错误分类错误的成本差异很大，至关重要。但是，过度参数化对深神经网络（DNNS）的成本敏感建模构成了基本挑战。 DNN完全插值训练数据集的能力可以渲染DNN，纯粹在训练集上进行评估，无效地区分了成本敏感的解决方案和其总体准确性最大化。这需要重新思考DNN中的成本敏感分类。为了应对这一挑战，本文提出了一个具有成本敏感的对抗数据增强（CSADA）框架，以使过度参数化的模型成本敏感。总体想法是生成针对性的对抗示例，以推动成本感知方向的决策边界。这些有针对性的对抗样本是通过最大化关键分类错误的可能性而产生的，并用于训练一个模型，以更加保守的对成对的决策。公开可用的有关著名数据集和药物药物图像（PMI）数据集的实验表明，我们的方法可以有效地最大程度地减少整体成本并减少关键错误，同时在整体准确性方面达到可比的性能。

在本文中，我们应对PCA：异质性的重大挑战。当从不同趋势的不同来源收集数据的同时仍具有一致性时，提取共享知识的同时保留每个来源的独特功能至关重要。为此，我们提出了个性化的PCA（PERPCA），该PCA（PERPCA）使用相互正交的全球和本地主要组件来编码唯一的和共享的功能。我们表明，在轻度条件下，即使协方差矩阵截然不同，也可以通过约束优化问题来识别和恢复独特的和共享的特征。此外，我们设计了一种完全由分布式stiefel梯度下降来解决问题的完全联合算法。该算法引入了一组新的操作，称为通用缩回，以处理正交性约束，并且仅要求跨来源共享全局PC。我们证明了在合适的假设下算法的线性收敛。全面的数值实验突出了PERPCA在特征提取和异质数据集预测方面的出色性能。作为将共享和唯一功能从异质数据集解除共享和独特功能的系统方法，PERPCA在几种任务中找到了应用程序，包括视频细分，主题提取和分布式聚类。

随着边缘设备变得越来越强大，数据分析逐渐从集中式转移到分散的制度，在该制度中，利用边缘计算资源以在本地处理更多数据。这种分析制度被认为是联合数据分析（FDA）。尽管FDA最近有成功的案例，但大多数文献都专注于深度神经网络。在这项工作中，我们退后一步，为最基本的统计模型之一开发了FDA处理：线性回归。我们的处理是建立在层次建模的基础上，该模型允许多个组借用强度。为此，我们提出了两个联合的层次模型结构，它们在跨设备之间提供共享表示以促进信息共享。值得注意的是，我们提出的框架能够提供不确定性量化，可变选择，假设测试以及对新看不见数据的快速适应。我们在一系列现实生活中验证了我们的方法，包括对飞机发动机的条件监控。结果表明，我们对线性模型的FDA处理可以作为联合算法未来开发的竞争基准模型。

在本文中，我们提出\ texttt {fgpr}：一个联合高斯进程（$ \ mathcal {gp} $）回归框架，它使用了用于本地客户端计算的模型聚合和随机梯度血缘的平均策略。值得注意的是，由此产生的全局模型在个性化中excels作为\ texttt {fgpr}共同学习所有客户端之前的全局$ \ mathcal {gp} $。然后通过利用该本地数据来获得预测后的后退，并在从特定客户端编码个性化功能的本地数据获得。从理论上讲，我们显示\ texttt {fgpr}会聚到完整对数似然函数的关键点，但符合统计误差。通过广泛的案例研究，我们展示了\ TextTT {FGPR}在广泛的应用中擅长，并且是隐私保留多保真数据建模的有希望的方法。

随机梯度下降（SGD）及其变体已经建立为具有独立样本的大型机器学习问题的进入算法，由于其泛化性能和内在的计算优势。然而，随机梯度是具有相关样本的全梯度的偏置估计的事实导致了对SGD在相关环境中的表现和阻碍其在这种情况下使用的理解缺乏理论理解。在本文中，我们专注于高斯过程（GP）的近似参数估计，并通过证明小纤维SGD收敛到完整日志似然丢失功能的关键点来打破屏障的一步，并恢复速率$率的模型超参数o（\ frac {1} {k}）$ k $迭代，达到统计误差术语，具体取决于小靶大小。我们的理论担保仍然存在，内核功能表现出指数或多项式EIGENDECAY，这是通过GPS常用的各种核的满足。模拟和实时数据集的数值研究表明，Minibatch SGD在最先进的GP方法上具有更好的推广，同时降低了计算负担并开启了GPS的新的，先前未开发的数据大小制度。

事情互联网（物联网）正处于重大范式转变的边缘。在未来的IOT系统中，IOFT，云将被人群代替模型训练被带到边缘的人群，允许IOT设备协作提取知识并构建智能分析/型号，同时保持本地存储的个人数据。这种范式转变被IOT设备的计算能力巨大增加以及分散和隐私保留模型培训的最近进步，作为联合学习（FL）。本文为IOFT提供了愿景，并系统概述当前努力实现这一愿景。具体而言，我们首先介绍IOFT的定义特征，并讨论了三维内部的分散推断的流动方法，机会和挑战：（i）全局模型，最大化跨所有IOT设备的实用程序，（ii）个性化模型所有设备的借款强度都保留了自己的模型，（iii）一个迅速适应新设备或学习任务的元学习模型。通过描述Ioft通过域专家镜头重塑不同行业的愿景和挑战来结束。这些行业包括制造，运输，能源，医疗保健，质量和可靠性，商业和计算。

Lookahead，也称为非洋流，贝叶斯优化（BO）旨在通过解决动态程序（DP）来找到最佳的采样策略，从而最大程度地利用滚动地平线获得长期奖励。尽管很有希望，但Lookahead Bo通过增加对可能错误指定模型的依赖而面临错误传播的风险。在这项工作中，我们专注于用于解决棘手的DP的推出近似值。我们首先证明了推出在解决LookAhead BO方面的提高性质，并提供了足够的条件，可以使使用的启发式效果提高推广。然后，我们提供一个理论和实用的指南来决定滚动地平线阶段。该指南基于量化错误指定模型的负面影响。为了说明我们的想法，我们提供了有关单一和多信息源BO的案例研究。经验结果表明，我们方法比几种近视和非侧视算法的优势性能。

Recent advances in deep learning (dl) have led to the release of several dl software libraries such as pytorch, Caffe, and TensorFlow, in order to assist machine learning (ml) practitioners in developing and deploying state-of-the-art deep neural networks (DNN), but they are not able to properly cope with limitations in the dl libraries such as testing or data processing. In this paper, we present a qualitative and quantitative analysis of the most frequent dl libraries combination, the distribution of dl library dependencies across the ml workflow, and formulate a set of recommendations to (i) hardware builders for more optimized accelerators and (ii) library builder for more refined future releases. Our study is based on 1,484 open-source dl projects with 46,110 contributors selected based on their reputation. First, we found an increasing trend in the usage of deep learning libraries. Second, we highlight several usage patterns of deep learning libraries. In addition, we identify dependencies between dl libraries and the most frequent combination where we discover that pytorch and Scikit-learn and, Keras and TensorFlow are the most frequent combination in 18% and 14% of the projects. The developer uses two or three dl libraries in the same projects and tends to use different multiple dl libraries in both the same function and the same files. The developer shows patterns in using various deep-learning libraries and prefers simple functions with fewer arguments and straightforward goals. Finally, we present the implications of our findings for researchers, library maintainers, and hardware vendors.

Masader（Alyafeai等，2021）创建了一种元数据结构，用于分类阿拉伯NLP数据集。但是，开发一种简单的方法来探索这种目录是一项艰巨的任务。为了为探索目录的用户和研究人员提供最佳体验，必须解决一些设计和用户体验的挑战。此外，用户与网站的交互可能提供了一种简单的方法来改善目录。在本文中，我们介绍了Masader Plus，该网络接口供用户浏览masader。我们演示了数据探索，过滤和简单的API，该API允许用户从后端检查数据集。可以使用此链接https://arbml.github.io/masader探索masader plus。可以在此处找到的视频录制说明界面的录制https://www.youtube.com/watch?v=setDlseqchk。

近年来，知识蒸馏（KD）被认为是模型压缩和加速度的关键解决方案。在KD中，通过最大限度地减少两者的概率输出之间的分歧，一项小学生模型通常从大师模型中培训。然而，如我们实验中所示，现有的KD方法可能不会将老师的批判性解释知识转移给学生，即两种模型所做的预测的解释并不一致。在本文中，我们提出了一种新颖的可解释的知识蒸馏模型，称为XDistillation，通过该模型，解释信息都从教师模型转移到学生模型。 Xdistillation模型利用卷积的自动统计学器的想法来近似教师解释。我们的实验表明，由Xdistillation培训的模型优于传统KD方法的那些不仅在预测准确性的术语，而且对教师模型的忠诚度。